更新提醒:《轨迹大数据处理及分析软件》现在可以选择数据处理时段了!
朱同学告诉我,在处理上海的轨迹数据时,程序老是莫名其妙的崩溃,最近攻城狮尝试了一下,原来是源数据中有不少太夸张的错误,比如出现了2047年的GPS数据。这显然是需要解决的问题,为此,我们在分析轨迹数据结构时,增加了时段定义,就像下图这样:
这里的时间跨度代表用户希望从源数据中提取的时段,通过这种方法,一方面干掉了非法数据,另一方面,也提供给了用户更多的选择。
在使用时间跨度时,请注意:
前一个小时指的是“XX小时0分0秒”,后一个小时指的是“XX小时59分59秒”
如上图所示
其表示的时间跨度即为:2015年4月1日00:00:00至2015年4月1日01:59:59
当然,这段时间我们也对软件进行了其它的修修补补,所以发布了新的版本。需要注意的是,新版本并不兼容以往分析的轨迹数据,所以,请重新分析!!
但是,幸好!新的软件速度得到了有效的提升。
以下是我的最新X1 Carbon的配置:
攻城狮用它处理了上海的数据,将近10GB的一个数据文件,包含1.3万辆出租车一天的GPS数据。攻城狮利用我们的软件从中试着提取了两个小时的数据,用了四个并行线程,如下:
首次运行数据结构分析,耗时801秒,如下:
后来又运行了一次(这不是必须的,这时可以修改时段定义,而且可以借用首次运行的一些结果),耗时293秒,如下:
之后,我们开始构建索引结构,耗时5秒,如下:
目前就是这样的速度了,不知如果改变线程数量是否可进一步提高效率!
欢迎尝试!分享结果!
这次我们除了提供最新的程序,还上传了分析好的上海数据,包括一小时版的和两小时版的,如下:
是否能看到南北高架、延安高架、内环......
欢迎下载,欢迎使用!
软件和数据下载方法如下:
关注公众号“大数据攻城狮” (已关注的,直接进入第二步,没关注的,下面有二维码等你扫)
在公众号里,发送消息www.bigdatalion.com
攻城狮会自动回复软件下载地址
下载软件
开始使用
实在搞不懂的,请浏览网站www.bigdatalion.com
相关推文:
大数据攻城狮
微信公众号:www_mapfuture_org
EMAIL:bigdatalion@yeah.net
WEB:www.bigdatalion.com